<html lang="en-US">

<head>
    
<title>Go SliceHeader 和 StringHeader，你知道吗？ - 花落雨忧</title>

<meta property="og:title" content="Go SliceHeader 和 StringHeader，你知道吗？ - 花落雨忧">



    



    
    <meta property="description" content="大家好，我是煎鱼。
在 Go 语言中总是有一些看上去奇奇怪怪的东西，咋一眼一看感觉很熟悉，但又不理解其在 Go 代码中的实际意义，面试官却爱问&amp;hellip;
今天要给大家介绍的是 SliceHeader 和 StringHeader 结构体，了解清楚他到底是什么，又有什么用，并且会在最后给大家介绍 0 拷贝转换的内容。
一起愉快地开始吸鱼之路。
[&amp;hellip;] SliceHeader 如其 &amp;hellip;">
    <meta property="og:description" content="大家好，我是煎鱼。
在 Go 语言中总是有一些看上去奇奇怪怪的东西，咋一眼一看感觉很熟悉，但又不理解其在 Go 代码中的实际意义，面试官却爱问&amp;hellip;
今天要给大家介绍的是 SliceHeader 和 StringHeader 结构体，了解清楚他到底是什么，又有什么用，并且会在最后给大家介绍 0 拷贝转换的内容。
一起愉快地开始吸鱼之路。
[&amp;hellip;] SliceHeader 如其 &amp;hellip;">
    






<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
<meta name="viewport" content="width=device-width,initial-scale=1">

<link rel="shortcut icon" href="https://www.lican.asia/logo/logo.png" type="image/x-icon" />



<link rel="stylesheet" href="/css/style.min.css" />

<link rel="stylesheet" href="/css/reset.min.css" />




<script src="https://www.lican.asia/js/highlight.min.js"></script>

<script>
hljs.configure({ ignoreUnescapedHTML: true })
hljs.highlightAll();
</script>


<script src="https://www.lican.asia/js/jquery.min.js"></script>




<link href="https://www.lican.asia/css/hugo-code.min.css" rel="stylesheet" />



    <style>
        .post-content img {
            max-width: 400px;
        }
    </style>
</head>

<body id="period" class="home blog">
    <a class="skip-content" href="#main">Press "Enter" to skip to content</a>
    <div id="overflow-container" class="overflow-container">
        <header class="site-header" id="site-header" role="banner">
    <div class="max-width">
        <div id="title-container" class="title-container">
            <div id="site-title" class="site-title"><a href="/">花落雨忧</a></div>
            <p class="tagline">思所及 力所行 方为真.</p>
        </div>
        
        <div id="menu-primary-container" class="menu-primary-container">
            <div class="icon-container">
            </div>
            <div id="menu-primary" class="menu-container menu-primary" role="navigation">
                <nav class="menu">
                    <ul id="menu-primary-items" class="menu-primary-items">
                        
                        
                        <li id="menu-item-0"
                            class="menu-item menu-item-type-custom menu-item-object-custom ">
                            <a href="/posts" aria-current="page" tabindex="0">首页</a></li>
                        
                        <li id="menu-item-1"
                            class="menu-item menu-item-type-custom menu-item-object-custom ">
                            <a href="/tech/" aria-current="page" tabindex="1">技术文档</a></li>
                        
                        <li id="menu-item-2"
                            class="menu-item menu-item-type-custom menu-item-object-custom ">
                            <a href="/article/" aria-current="page" tabindex="2">文章</a></li>
                        
                        <li id="menu-item-3"
                            class="menu-item menu-item-type-custom menu-item-object-custom ">
                            <a href="/project/" aria-current="page" tabindex="3">项目</a></li>
                        
                        <li id="menu-item-4"
                            class="menu-item menu-item-type-custom menu-item-object-custom ">
                            <a href="/about/" aria-current="page" tabindex="4">关于</a></li>
                        
                    </ul>
                </nav>
            </div>
        </div>
    </div>
</header>

        <div id="primary-container" class="primary-container">
            <div class="max-width">
                <section id="main" class="main" role="main">
                    <div id="loop-container" class="loop-container">
                        <div
                            class="post type-post status-publish format-standard hentry entry">
                            <article>
                                <div class="post-container">
                                    <div class="post-header">
                                        <h2 class="post-title">
                                            <a href="/posts/posts/go/slice-string-header/">Go SliceHeader 和 StringHeader，你知道吗？</a>
                                        </h2>
                                        
                                        <div class="post-byline">Published on
                                            <a class="date" href="javascript:;">2021/12/31</a>
                                            
                                            
                                            
                                            
                                            
                                        
                                    </div>
                                    <div class="post-content">
                                        <p>大家好，我是煎鱼。</p>
<p>在 Go 语言中总是有一些看上去奇奇怪怪的东西，咋一眼一看感觉很熟悉，但又不理解其在 Go 代码中的实际意义，面试官却爱问&hellip;</p>
<p>今天要给大家介绍的是 SliceHeader 和 StringHeader 结构体，了解清楚他到底是什么，又有什么用，并且会在最后给大家介绍 0 拷贝转换的内容。</p>
<p>一起愉快地开始吸鱼之路。</p>
<h2 id="sliceheader">SliceHeader</h2>
<p>SliceHeader 如其名，Slice + Header，看上去很直观，实际上是 Go Slice（切片）的运行时表现。</p>
<p>SliceHeader 的定义如下：</p>
<pre tabindex="0"><code>type SliceHeader struct {
 Data uintptr
 Len  int
 Cap  int
}
</code></pre><ul>
<li>
<p>Data：指向具体的底层数组。</p>
</li>
<li>
<p>Len：代表切片的长度。</p>
</li>
<li>
<p>Cap：代表切片的容量。</p>
</li>
</ul>
<p>既然知道了切片的运行时表现，那是不是就意味着我们可以自己造一个？</p>
<p>在日常程序中，可以利用标准库 <code>reflect</code> 提供的 <code>SliceHeader</code> 结构体造一个：</p>
<pre tabindex="0"><code>func main() {
  // 初始化底层数组
 s := [4]string{&#34;脑子&#34;, &#34;进&#34;, &#34;煎鱼&#34;, &#34;了&#34;}
 s1 := s[0:1]
 s2 := s[:]

  // 构造 SliceHeader
 sh1 := (*reflect.SliceHeader)(unsafe.Pointer(&amp;s1))
 sh2 := (*reflect.SliceHeader)(unsafe.Pointer(&amp;s2))
 fmt.Println(sh1.Len, sh1.Cap, sh1.Data)
 fmt.Println(sh2.Len, sh2.Cap, sh2.Data)
}
</code></pre><p>你认为输出结果是什么，这两个新切片会指向同一个底层数组的内存地址吗？</p>
<p>输出结果：</p>
<pre tabindex="0"><code>1 4 824634330936
4 4 824634330936
</code></pre><p>两个切片的 Data 属性所指向的底层数组是一致的，Len 属性的值不一样，sh1 和 sh2 分别是两个切片。</p>
<h3 id="疑问">疑问</h3>
<p>为什么两个新切片所指向的 Data 是同一个地址的呢？</p>
<p>这其实是 Go 语言本身为了减少内存占用，提高整体的性能才这么设计的。</p>
<p>将切片复制到任意函数的时候，对底层数组大小都不会影响。复制时只会复制切片本身（值传递），不会涉及底层数组。</p>
<p>也就是在函数间传递切片，其只拷贝 24 个字节（指针字段 8 个字节，长度和容量分别需要 8 个字节），效率很高。</p>
<h3 id="坑">坑</h3>
<p>这种设计也引出了新的问题，在平时通过 <code>s[i:j]</code> 所生成的新切片，两个切片底层指向的是同一个底层数组。</p>
<p>假设<strong>在没有超过容量（cap）的情况下，对第二个切片操作会影响第一个切片</strong>。</p>
<p>这是很多 Go 开发常会碰到的一个大 “坑”，不清楚的排查了很久的都不得而终。</p>
<h2 id="stringheader">StringHeader</h2>
<p>除了 SliceHeader 外，Go 语言中还有一个典型代表，那就是字符串（string）的运行时表现。</p>
<p>StringHeader 的定义如下：</p>
<pre tabindex="0"><code>type StringHeader struct {
   Data uintptr
   Len  int
}
</code></pre><ul>
<li>
<p>Data：存放指针，其指向具体的存储数据的内存区域。</p>
</li>
<li>
<p>Len：字符串的长度。</p>
</li>
</ul>
<p>可得知 “Hello” 字符串的底层数据如下：</p>
<pre tabindex="0"><code>var data = [...]byte{
    &#39;h&#39;, &#39;e&#39;, &#39;l&#39;, &#39;l&#39;, &#39;o&#39;,
}
</code></pre><p>底层的存储示意图如下：</p>
<p><img src="https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/30ace7491055413eadaf97c05de85b9c~tplv-k3u1fbpfcp-zoom-1.image" alt="图片"></p>
<p>图来自网络</p>
<p>真实演示例子如下：</p>
<pre tabindex="0"><code>func main() {
 s := &#34;脑子进煎鱼了&#34;
 s1 := &#34;脑子进煎鱼了&#34;
 s2 := &#34;脑子进煎鱼了&#34;[7:]

 fmt.Printf(&#34;%d \n&#34;, (*reflect.StringHeader)(unsafe.Pointer(&amp;s)).Data)
 fmt.Printf(&#34;%d \n&#34;, (*reflect.StringHeader)(unsafe.Pointer(&amp;s1)).Data)
 fmt.Printf(&#34;%d \n&#34;, (*reflect.StringHeader)(unsafe.Pointer(&amp;s2)).Data)
}
</code></pre><p>你认为输出结果是什么，变量 s 和 s1、s2 会指向同一个底层内存空间吗？</p>
<p>输出结果：</p>
<pre tabindex="0"><code>17608227 
17608227 
17608234 
</code></pre><p>从输出结果来看，变量 s 和 s1 指向同一个内存地址。变量 s2 虽稍有偏差，但本质上也是指向同一块。</p>
<p>因为其是字符串的切片操作，是从第 7 位索引开始，因此正好的 17608234-17608227 = 7。也就是三个变量都是指向同一块内存空间，这是为什么呢？</p>
<p>这是因为在 Go 语言中，<strong>字符串都是只读的，为了节省内存，相同字面量的字符串通常对应于同一字符串常量，因此指向同一个底层数组</strong>。</p>
<h2 id="0-拷贝转换">0 拷贝转换</h2>
<p>为什么会有人关注到 SliceHeader、StringHeader 这类运行时细节呢，一大部分原因是业内会有开发者，<strong>希望利用其实现零拷贝的 string 到 bytes 的转换</strong>。</p>
<p>常见转换代码如下：</p>
<pre tabindex="0"><code>func string2bytes(s string) []byte {
 stringHeader := (*reflect.StringHeader)(unsafe.Pointer(&amp;s))

 bh := reflect.SliceHeader{
  Data: stringHeader.Data,
  Len:  stringHeader.Len,
  Cap:  stringHeader.Len,
 }

 return *(*[]byte)(unsafe.Pointer(&amp;bh))
}
</code></pre><p>但这其实是错误的，官方明确表示：</p>
<blockquote>
<p>the Data field is not sufficient to guarantee the data it references will not be garbage collected, so programs must keep a separate, correctly typed pointer to the underlying data.</p>
</blockquote>
<p>SliceHeader、StringHeader 的 Data 字段是一个 <code>uintptr</code> 类型。由于 Go 语言只有值传递。</p>
<p>因此在上述代码中会出现将 <code>Data</code> 作为值拷贝的情况，这就会导致<strong>无法保证它所引用的数据不会被垃圾回收（GC）</strong>。</p>
<p>应该使用如下转换方式：</p>
<pre tabindex="0"><code>func main() {
 s := &#34;脑子进煎鱼了&#34;
 v := string2bytes1(s)
 fmt.Println(v)
}

func string2bytes1(s string) []byte {
 stringHeader := (*reflect.StringHeader)(unsafe.Pointer(&amp;s))

 var b []byte
 pbytes := (*reflect.SliceHeader)(unsafe.Pointer(&amp;b))
 pbytes.Data = stringHeader.Data
 pbytes.Len = stringHeader.Len
 pbytes.Cap = stringHeader.Len

 return b
}
</code></pre><p>在程序必须保留一个单独的、正确类型的指向底层数据的指针。</p>
<p>在性能方面，若只是期望单纯的转换，对容量（cap）等字段值不敏感，也可以使用以下方式：</p>
<pre tabindex="0"><code>func string2bytes2(s string) []byte {
 return *(*[]byte)(unsafe.Pointer(&amp;s))
}
</code></pre><p>性能对比：</p>
<pre tabindex="0"><code>string2bytes1-1000-4   3.746 ns/op  0 allocs/op
string2bytes1-1000-4   3.713 ns/op  0 allocs/op
string2bytes1-1000-4   3.969 ns/op  0 allocs/op

string2bytes2-1000-4   2.445 ns/op  0 allocs/op
string2bytes2-1000-4   2.451 ns/op  0 allocs/op
string2bytes2-1000-4   2.455 ns/op  0 allocs/op
</code></pre><p>会相当标准的转换性能会稍快一些，这种强转也会导致一个小问题。</p>
<p>代码如下：</p>
<pre tabindex="0"><code>func main() {
 s := &#34;脑子进煎鱼了&#34;
 v := string2bytes2(s)
 println(len(v), cap(v))
}
func string2bytes2(s string) []byte {
 return *(*[]byte)(unsafe.Pointer(&amp;s))
}
</code></pre><p>输出结果：</p>
<pre tabindex="0"><code>18 824633927632
</code></pre><p>这种强转其会导致 byte 的切片容量非常大，需要特别注意。一般还是推荐使用标准的 SliceHeader、StringHeader 方式就好了，也便于后来的维护者理解。</p>
<h2 id="总结">总结</h2>
<p>在这篇文章中，我们介绍了字符串（string）和切片（slice）的两个运行时表现，分别是 StringHeader 和 SliceHeader。</p>
<p>同时了解到其运行时表现后，我们还针对其两者的地址指向，常见坑进行了说明。</p>
<p>最后我们进一步深入，面向 0 拷贝转换的场景进行了介绍和性能分析。</p>
<p>你平时有没有遇到过这块的疑惑或问题呢，欢迎大家一起讨论！</p>
<h2 id="鼓励">鼓励</h2>
<p>若有任何疑问欢迎评论区反馈和交流，<strong>最好的关系是互相成就</strong>，各位的<strong>点赞</strong>就是<a href="https://github.com/eddycjy">煎鱼</a>创作的最大动力，感谢支持。</p>
<blockquote>
<p>文章持续更新，可以微信搜【脑子进煎鱼了】阅读，本文 <strong>GitHub</strong> <a href="https://github.com/eddycjy/blog">github.com/eddycjy/blog</a> 已收录，学习 Go 语言可以看 <a href="https://github.com/eddycjy/go-developer-roadmap">Go 学习地图和路线</a>，欢迎 Star 催更。</p>
</blockquote>
<h2 id="参考">参考</h2>
<ul>
<li>
<p>Go语言slice的本质-SliceHeader</p>
</li>
<li>
<p>数组、字符串和切片</p>
</li>
<li>
<p>零拷贝实现string 和bytes的转换疑问</p>
</li>
</ul>


                                        
                                        
                                        
                                        <div class="rp4wp-related-posts">
                                            <h3>相关文章</h3>
                                            <ul>
                                                
                                                <li>
                                                    <div class="rp4wp-related-post-content">
                                                        <a
                                                            href="https://www.lican.asia/posts/posts/go/value-quote/">群里又吵起来了，Go 是传值还是传引用？</a>
                                                    </div>
                                                </li>
                                                
                                                <li>
                                                    <div class="rp4wp-related-post-content">
                                                        <a
                                                            href="https://www.lican.asia/posts/posts/go/empty-struct/">详解 Go 空结构体的 3 种使用场景</a>
                                                    </div>
                                                </li>
                                                
                                                <li>
                                                    <div class="rp4wp-related-post-content">
                                                        <a
                                                            href="https://www.lican.asia/posts/posts/go/ternary-operator/">Go 凭什么不支持三元运算符？</a>
                                                    </div>
                                                </li>
                                                
                                                <li>
                                                    <div class="rp4wp-related-post-content">
                                                        <a
                                                            href="https://www.lican.asia/posts/posts/go/sync-map/">Go 并发读写 sync.map 的强大之处</a>
                                                    </div>
                                                </li>
                                                
                                                <li>
                                                    <div class="rp4wp-related-post-content">
                                                        <a
                                                            href="https://www.lican.asia/posts/posts/go/stop-goroutine/">回答我，停止 Goroutine 有几种方法？</a>
                                                    </div>
                                                </li>
                                                
                                            </ul>
                                        </div>
                                        
                                        
                                    </div>

                                    
                                    
                                    

                                    
                                    <div class="post-meta">
                                        
                                        
                                        <div class="post-tags">
                                            <ul>
                                            
                                            <li>
                                                <a href="/tags/go" title="View all posts tagged match">go</a>
                                            </li>
                                            
                                            </ul>
                                        </div>
                                        
                                        
                                        <nav class="further-reading">
                                            
                                            <div class="previous">
                                                <span>&lt;&lt; Prev</span>
                                                <a href="https://www.lican.asia/posts/posts/go/value-quote/"
                                                    rel="prev">群里又吵起来了，Go 是传值还是传引用？</a> </div>
                                            
                                            
                                            <div class="next">
                                                <span>Next >></span>
                                                <a href="https://www.lican.asia/posts/posts/go/unsafe-pointer/">详解 Go 团队不建议用的 unsafe.Pointer</a> 
                                            </div>
                                            
                                        </nav>
                                    </div>
                                    
                                    

                                    
                                    
                                    

                                </div>
                            </article>
                        </div>
                    </div>
                </section>
                <aside class="sidebar sidebar-primary" id="sidebar-primary" role="complementary">
    <h1 class="screen-reader-text">Sidebar</h1>
    

    
    
    <section id="text-2" class="widget widget_text">
        <div class="textwidget">
            
            <div id="profile">
                <div id="profile_picture"><img src="https://www.lican.asia/logo/logo.png"></div>
                <div id="profile_intro">
                    <p><span class="name">Lican</span></p>
                    <p class="intro">全栈开发者，爱好造轮子。</p>
                </div>
            </div>
            
            <p>
                <script type="text/javascript">
                    (function ($) {
                        $(document).ready(function () {
                            var menuPrimaryContainer = $('#menu-primary-container');
                            var profile = $('#text-2');
                            $('#toggle-navigation').click(function () {
                                if (menuPrimaryContainer.hasClass('open')) {
                                    profile.removeClass('open');
                                } else {
                                    profile.addClass('open');
                                }
                            });
                        });
                    })(jQuery);
                </script>
            </p>
        </div>
    </section>
    
    
    
    
    
    <section id="text-5" class="widget widget_text">
        <h2 class="widget-title">开源项目</h2>
        <div class="textwidget">
            <div id="projects" style="line-height: 22px;">
                
                <a href="https://github.com/idoubi/gonews"
                    target="_blank">gonews</a>: &nbsp;Daily news for golang<br>
                
                <a href="https://github.com/idoubi/sql2struct"
                    target="_blank">sql2struct</a>: &nbsp;Generate go struct according to SQL<br>
                
                <a href="https://github.com/idoubi/goz"
                    target="_blank">goz</a>: &nbsp;Request library used in golang<br>
                
        </div>
    </section>
    
    

    
    
    
    
    <section id="qrcode" class="widget widget_media_image">
        <h2 class="widget-title">微信公众号</h2>
        <img width="258" height="258"
            src="https://www.lican.asia/wechat/lican.png"
            class="image wp-image-5514  attachment-full size-full" alt=""
            style="max-width: 100%; height: auto;"
            sizes="(max-width: 258px) 100vw, 258px">
    </section>
    
    

    
    
    

    
    
    

    
    
    
    
</aside>
            </div>
        </div>

        <footer id="site-footer" class="site-footer" role="contentinfo">
    <div class="max-width">
    </div>
    <div class="footer">
        <div id="footercontent">
            © lican.asia All rights reserved<br/>
            Built with Hugo Theme <a href="https://github.com/idoubi/hugo-theme-period" target="_blank">Period</a>
        </div>
    </div>
</footer>

<script>
    var _hmt = _hmt || [];
    (function() {
      var hm = document.createElement("script");
      hm.src = "https://hm.baidu.com/hm.js?e8351b6d4626d5881d439ea1f6184baa";
      var s = document.getElementsByTagName("script")[0]; 
      s.parentNode.insertBefore(hm, s);
    })();
</script>
    
    
    </div>
    
</body>

</html>